自我监督的学习方法克服了构建功能更高的AI的关键瓶颈：标记数据的可用性有限。但是，自我监督架构的缺点之一是，他们所学的表示形式是隐式的，很难提取有关编码世界状态的有意义的信息，例如在深度图中编码的视觉场景的3D结构。此外，在视觉域中，这种表示形式很少受到对下游任务至关重要的评估，例如自动驾驶汽车的愿景。本文中，我们提出了一个框架，用于评估在深度感知背景下照明不变性的视觉表示。我们开发了一种新的基于预测性编码的架构和一种混合监督/自我监督的学习方法。我们提出了一种扩展预测编码方法的新型体系结构：预测性的横向自下而上和自上而下的编码器 - 编码器网络（PRELUDENET），该网络明确地学习了从视频帧中推断和预测深度。在预曲线中，编码器的预测编码层堆栈以自我监督的方式进行训练，而预测解码器则以监督的方式进行培训，以推断或预测深度。我们在新的合成数据集上评估了模型的鲁棒性，在该数据集中，可以在参数上调整照明条件（例如整体照明和阴影的效果），同时使世界所有其他方面保持恒定。 preludenet既可以达到竞争深度推理性能，又可以实现下一个帧预测准确性。我们还展示了这种新的网络体系结构如何与混合的全面监督/自我监督学习方法相结合，在上述性能和不变性之间达到平衡与照明变化之间的平衡。评估视觉表示的建议框架可以扩展到不同的任务域和不变性测试。
translated by 谷歌翻译
Business processes that involve AI-powered automation have been gaining importance and market share in recent years. These business processes combine the characteristics of classical business process management, goal-driven chatbots, conversational recommendation systems, and robotic process automation. In the new context, prescriptive process monitoring demands innovative approaches. Unfortunately, data logs from these new processes are still not available in the public domain. We describe the main challenges in this new domain and introduce a synthesized dataset that is based on an actual use case of intelligent process automation with chatbot orchestration. Using this dataset, we demonstrate crowd-wisdom and goal-driven approaches to prescriptive process monitoring.
translated by 谷歌翻译
We present a new pre-trained language model (PLM) for modern Hebrew, termed AlephBERTGimmel, which employs a much larger vocabulary (128K items) than standard Hebrew PLMs before. We perform a contrastive analysis of this model against all previous Hebrew PLMs (mBERT, heBERT, AlephBERT) and assess the effects of larger vocabularies on task performance. Our experiments show that larger vocabularies lead to fewer splits, and that reducing splits is better for model performance, across different tasks. All in all this new model achieves new SOTA on all available Hebrew benchmarks, including Morphological Segmentation, POS Tagging, Full Morphological Analysis, NER, and Sentiment Analysis. Subsequently we advocate for PLMs that are larger not only in terms of number of layers or training data, but also in terms of their vocabulary. We release the new model publicly for unrestricted use.
translated by 谷歌翻译
随着人们对精神危机及其社会影响的认识，在许多国家，提供紧急支持的在线服务变得司空见惯。接受寻求帮助者和提供者之间讨论的培训的计算模型可以通过识别高危个人来支持预防自杀。但是，缺乏特定领域的模型，尤其是在低资源语言中，对自动检测自杀风险构成了重大挑战。我们提出了一个模型，该模型将预训练的语言模型（PLM）与固定的一组手动制作（并经过临床批准）的自杀提示相结合，然后进行了两阶段的微调过程。我们的模型达到了0.91 ROC-AUC和0.55的F2分数，甚至在对话的早期就表现出了一系列强大的基线，这对于该领域的实时检测至关重要。此外，该模型在性别和年龄段之间表现良好。
translated by 谷歌翻译
物联网系统中的微型机器学习（Tinyml）利用MCU作为数据处理的边缘设备。但是，传统的Tinyml方法只能执行推理，仅限于静态环境或类。真实情况通常在动态环境中起作用，从而将原始神经模型不再合适的上下文漂移。因此，预训练的模型降低了其一生中的准确性和可靠性，因为记录的数据缓慢变为过时或出现新模式。连续学习策略通过对参数进行运行时进行微调维护模型。本文比较了两个实际应用中的四种最新算法：i）基于加速度计数据的手势识别和ii）图像分类。我们的结果证实了这些系统的可靠性以及将它们部署到微小的MCUS中的可行性，相对于无约束计算平台的原始模型的精确度下降了几个百分点。
translated by 谷歌翻译
最近，人们对基于变压器的模型产生有意义的文本嵌入的能力越来越兴趣，例如文本相似性。尽管该领域取得了重大进展，但相似性预测的解释仍然具有挑战性，尤其是在无监督的环境中。在这项工作中，我们提出了一种无监督的技术，用于解释预先训练的BERT模型推断出的段落相似性。通过查看一对段落，我们的技术确定了决定每个段落的语义的重要单词，在这两个段落中的单词之间匹配，并检索解释两者之间相似性的最重要对。该方法已通过广泛的人类评估进行了评估，并在包含长期复杂段落的数据集中证明了这一方法，已显示出巨大的希望，提供了与人类看法更好相关的准确解释。
translated by 谷歌翻译
我们提出了Metricbert，这是一个基于BERT的模型，该模型学会了以明确的相似性度量嵌入文本，同时遵守``传统''蒙面语言任务。我们专注于学习相似之处的下游任务，以表明公制表现优于最先进的替代方案，有时要大幅度。我们对我们的方法及其不同的变体进行了广泛的评估，这表明我们的训练目标对传统的对比损失，标准余弦相似性目标和其他六个基线非常有益。作为另一个贡献，我们发布了视频游戏描述的数据集，以及由域专家制作的一系列相似性注释。
translated by 谷歌翻译
我们为拉比希伯来语提出了一种新的预训练的语言模型（PLM），称为Berel（Bert bert嵌入了拉比编码的语言）。尽管存在其他PLM用于处理希伯来文本（例如Hebert，Alephbert），但它们都接受了现代希伯来语文本的培训，该文本在其词典，形态学，义学和正学规范方面与犹太人希伯来语有很大的不同。我们通过一组希伯来语同源物来证明贝雷尔在拉比文本上的优越性。我们发布了无限制使用的新模型和同型挑战。
translated by 谷歌翻译
SIM到现实的转移是机器人增强学习的强大范式。在模拟中训练政策的能力可以以低成本快速探索和大规模数据收集。但是，机器人策略的SIM到现实转移的先前工作通常不涉及任何人类机器人的相互作用，因为准确模拟人类行为是一个空旷的问题。在这项工作中，我们的目标是利用模拟的力量来训练熟练在部署时与人类互动的机器人政策。但是有一个鸡肉和鸡蛋问题 - 我们如何收集人与物理机器人互动的例子，以在模拟中对人类行为进行建模，而没有已经有能够与人相互作用的机器人？我们提出的方法，即迭代-SIM-to-real（I-S2R），试图解决这个问题。 I-S2R引导程序来自一个简单的人类行为模型和在模拟和在现实世界中部署的训练之间的交替。在每次迭代中，人类行为模型和政策都得到了完善。我们在现实世界的机器人乒乓球环境中评估我们的方法，该机器人的目标是尽可能长时间与人类玩家合作。乒乓球是一项高速，充满活力的任务，要求两名球员对彼此的举动迅速做出反应，从而使测试床具有挑战性，以研究人类机器人互动。我们在一个工业机器人手臂上介绍了结果，该机器人能够与人类球员合作打乒乓球，平均获得22次连续击球的集会，充其量只有150个。此外，对于80％的球员来说，与SIM-TO-REAL（S2R）基线相比，拉力长度长70％至175％。有关我们系统中的视频，请参见https://sites.google.com/view/is2r。
translated by 谷歌翻译
强化学习（RL）算法有望为机器人系统实现自主技能获取。但是，实际上，现实世界中的机器人RL通常需要耗时的数据收集和频繁的人类干预来重置环境。此外，当部署超出知识的设置超出其学习的设置时，使用RL学到的机器人政策通常会失败。在这项工作中，我们研究了如何通过从先前看到的任务中收集的各种离线数据集的有效利用来应对这些挑战。当面对一项新任务时，我们的系统会适应以前学习的技能，以快速学习执行新任务并将环境返回到初始状态，从而有效地执行自己的环境重置。我们的经验结果表明，将先前的数据纳入机器人增强学习中可以实现自主学习，从而大大提高了学习的样本效率，并可以更好地概括。
translated by 谷歌翻译